http://selfdrivingcars.mit.edu/deeptesla/
本项目中,你需要利用MIT 6.S094 这门公开课中的Tesla数据集训练深度学习模型,根据车辆的前置相机所拍摄的路况图像,实现对车辆转向角度的预测。
主要包括tesla在两种不同驾驶模式(human driving和autopilot)下的前置相机录制的视频和车辆的转向控制信号。数据可以从这里下载:百度云
数据格式如下:
前置相机记录的视频: 截图如下
行驶过程中的控制信号: CSV格式
| ts_micro | frame_index | wheel |
|---|---|---|
| 1464305394391807 | 0 | -0.5 |
| 1464305394425141 | 1 | -0.5 |
| 1464305394458474 | 2 | -0.5 |
其中,ts_micro是时间戳,frame_index是帧编号,wheel是转向角度(以水平方向为基准,+为顺时针,-为逆时针)
本项目要求使用python3 + keras + tensorflow + jupyter notebook来完成。项目目录如下图所示
output/ 这里应包含模型在epoch10_front.mkv上的表现效果
run.py 这里包含生成结果视频的主程序,其中对图像的预处理函数img_pre_process(),应根据需求修改;其他部分无需修改。
优化你的模型并使预测结果和真实的转向角度尽可能接近。这里我们以epoch10_front.mkv对应的行驶记录作为评价标准,你的报告中应该包含模型最后在该记录中取得的效果。
./models文件夹下。具体导出方法见:
./models中已有的模型,选择yepoch10_front.mkv的结果视频并保存在./output中,我们对你模型的评价将参考这一视频的结果。结果视频如题目描述中的动图所示。你的项目会由优达学城项目评审师依照机器学习毕业项目要求来评审。请确定你已完整的读过了这个要求,并在提交前对照检查过了你的项目。提交项目必须满足所有要求中每一项才能算作项目通过。
PDF 报告文件(注意这不应该是notebook的导出,请尽量按照模板填写)
./output中生成的视频epoch10_human_machine.mp4
项目相关代码(包括从raw data开始到最终结果以及你过程中所有数据分析和作图的代码,其中分析和可视化部分建议在notebook中完成)
包含使用的库,机器硬件,机器操作系统,训练时间等数据的 README 文档(建议使用 Markdown )